Locate, Judge, Read: Role-Specialized Tool Agents over a Knowledge-Point Index for Open-Domain Multimodal Document QA
定位、判断、阅读:基于知识点索引的角色专用工具智能体用于开放域多模态文档问答
🧭 角色分工的多 Agent 文档 QA ★ 深度解读
Metask Lab
按任务拆分搜索与阅读智能体、代码强制第二跳,在三个文档 QA 基准上显著超越现有系统
📌 工作参考价值(4 点)
- 搜索与阅读工具物理隔离:在电商商品库/文档客服 Agent 中,可把「找商品/找片段」和「读详情/规格」拆成两个 agent,Reader 不挂搜索工具,避免模型无限搜而不读;论文显示单 agent 全工具且双倍轮数反而低 1.9 F1。
- 类型化证据池:多模态业务里图片/表格在文本排序中分数低容易被淘汰;建议按 text/image/table/example 分池并各自设 cap,每次搜索保护 top-K,合并所有搜索的排名,这能显著保住图表证据。
- 代码级桥接判断:不要靠模型自己发现缺少第二跳文档;在检索后加一个固定 prompt 检查是否覆盖所有 hop,缺失则定向补搜 1-2 次。在 MultiHop-RAG 上这是最大单项提升来源,「all evidence found」从 50.6% 升到 65.1%。
- 轮次预算观察:4+4 后基本平台,延迟主要随模型调用数而非语料规模增长;工程上可设 Locator/Reader 为 cap 上界,让模型提前停,保证首 token 快。对需要多跳属性补全的推荐解释/导购 Agent 有直接可复制性。